|
09.07.2026 07:30 Uhr |
Wer gelegentlich das Subreddit r/LocalLLaMA besucht, stößt auf Lobeshymnen zu Llama.cpp. Die Software dient dazu, KI-Sprachmodelle auf Consumer Hardware zu verwenden. Mit den richtigen Einstellungen soll Llama.cpp mehr Geschwindigkeit aus lokalen KI-Modellen herausholen, als es Programme wie LM Studio oder Ollama ermöglichen.
Diesem Versprechen kann man schwer widerstehen. Wir haben die Open-Source-Software ausprobiert und mit der Engine ein für unseren Grafikspeicher übertrieben großes Mixture-of-Experts-Modell gestartet. Direkt aus dem Stand hat Llama.cpp die Antwort-Token damit viermal schneller generiert als mit LM Studio. Ob da noch mehr geht, probieren Nutzer aus, sobald sie die Software in wenigen Schritten eingerichtet haben.
Der Artikel erläutert einen einfachen Weg, Llama.cpp unter Windows 11 zu starten und gibt einige Tipps, etwa für den Fernzugriff auf das Browser-Interface. Wir zeigen auch, wie Nutzer KI-Modelle für die Engine so hinterlegen, dass sie verschiedene Konfigurationsmöglichkeiten der LLMs schnell über die Browser-UI testen können. Damit schaffen Sie eine Grundlage, um mit der Software komfortabel zu experimentieren: Vielleicht kitzeln Sie so ein paar Optimierungen aus Ihren bevorzugten LLMs. Für den Artikel haben wir einen etwas älteren Gaming-PC mit Nvidia-Grafikkarte (12 GByte VRAM), 32 GByte DDR4-RAM und der AMD-CPU Ryzen 7 5700G verwendet.